Telegram Group »
United States »
Библиотека собеса по Data Science | вопросы с собеседований » Telegram Webview
👀 Почему one-hot encoding может быть неэффективен при большом количестве категорией
One-hot encoding создает по одному бинарному признаку на каждое уникальное значение категориальной переменной. Когда количество категорийочень велико (например, тысячи ID товаров или пользователей) , возникают несколько проблем:
📍 Взрыв размерности: матрица признаков становится разреженной и очень широкой, что увеличивает требования к памяти и может замедлить обучение.
📍 Переобучение: модель может начать подгоняться под шум, если некоторые категории редко встречаются.
📍 Потеря семантической связи: one-hot не учитывает близость между категориями — все они считаются равными и независимыми.
В таких случаях лучше использовать альтернативы:
📍 Target encoding / mean encoding — замена категории на среднее значение целевой переменной для этой категории;
📍 Embedding-слои — обучаемые векторные представления категорий, особенно популярны в нейросетях;
📍 Frequency encoding — замена категории на частоту её появления.
Выбор метода зависит от модели и объема данных, но при большом количестве уникальных значений one-hot часто оказывается неоптимальным.
Библиотека собеса по Data Science
One-hot encoding создает по одному бинарному признаку на каждое уникальное значение категориальной переменной. Когда количество категорий
В таких случаях лучше использовать альтернативы:
Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Доверительный интервал (confidence interval) — это концепция из частотной статистики, где параметр считается
Байесовский достоверный интервал (credible interval) исходит из идеи, что параметр — это
Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
😱 Завтра цена на курс «AI-агенты для DS» вырастет
Пока вы думаете — другие уже покупают. Что вы теряете, откладывая решение? Как минимум — 10 000 рублей, именно столько вы переплатите завтра. Как максимум — шанс войти в топ-1% дата-сайентистов, которые умеют строить AI-агенты.
🎓 Чему вы научитесь на курсе:
— адаптировать LLM под разные предметные области и данные
— собирать свою RAG-систему: от ретривера и реранкера до генератора и оценки качества
— строить AI-агентов с нуля — на основе сценариев, функций и взаимодействия с внешней средой
Решение за вами.
👉 Купить курс по старой цене
Пока вы думаете — другие уже покупают. Что вы теряете, откладывая решение? Как минимум — 10 000 рублей, именно столько вы переплатите завтра. Как максимум — шанс войти в топ-1% дата-сайентистов, которые умеют строить AI-агенты.
🎓 Чему вы научитесь на курсе:
— адаптировать LLM под разные предметные области и данные
— собирать свою RAG-систему: от ретривера и реранкера до генератора и оценки качества
— строить AI-агентов с нуля — на основе сценариев, функций и взаимодействия с внешней средой
Решение за вами.
👉 Купить курс по старой цене
proglib.academy
Курс|AI-агенты для DS-специалистов
На курсе ты разберёшься, как работают AI-агенты и как их применять в работе — от текстовых помощников до систем, помогающих принимать решения. Разберем архитектуру агентов, связку с внешними API, пайплайны действий и популярные библиотеки. Курс включает реальные…
Batch normalization рассчитывает
Dropout случайно отключает нейроны, предполагая
Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM